Dari tahun 1986 hingga 1990, Ong merupakan setiausaha politik kepada Menteri Pengangkutan. Selepas memenangi pilihanraya umum 1990, beliau telah dilantik menjadi setiausaha parlimen kepada kementerian kesihatan dari 26 Oktober 1990 hingga 24 Februari 1991. Kemudian Ong dilantik menjadi setiausaha parlimen kepada kementerian Hal Ehwal Dalam Negeri dari 25 Februari 1991 hingga April 1995, sebelum dinaikkan menjadi Timbalan Menteri dalam kementerian yang sama pada 3 Mei 1993.

Dalam tahun 1999, dia telah dinaikkan menjadi menteri penuh di Kementerian Perumahan Dan Kerajaan Tempatan, kedudukan yang dipegang beliau sehingga 2008, apabila beliau meminta untuk tidak diberi sebarang jawatan Kabinet ekoran prestasi buruk MCA dan Barisan Nasional dalam Pilihanraya Umum Malaysia Ke-12 pada 8 Mac 2008, walaupun beliau memenangi kerusi Parlimen Kulai yang ditandinginya. Menurut beliau, beliau mahu memfokuskan tenaganya dalam menstrukturkan semula MCA bagi mendapat kembali sokongan pengundi Cina. Portfolio beliau dalam Kementerian Perumahan & Kerajaan Tempatan diserahkan kepada abangnya, Ong Ka Chuan, yang merupakan ahli Parlimen Tanjung Malim, Perak serta Setiausaha Agung MCA dan Ketua MCA Perak.